Romanos IV Diogenes có với người vợ đầu tiên, cô con gái vô danh của Alusian xứ Bulgaria, một đứa con trai:

• Konstantinos Diogenes, kết hôn với Theodora, em gái của Alexios I Komnenos.[36] Cuộc hôn nhân này do chính Anna Dalassena dàn xếp sau cái chết của Romanos IV,[37] chỉ trong một thời gian ngắn, khi Konstantinos thiệt mạng dưới chân thành Antiochia vào năm 1073 đang lúc phụng sự cùng người em rể Isaac Komnenos.[38]

Ông còn có với người vợ thứ hai, Hoàng hậu Eudokia Makrembolitissa, hai người con:

• Leon Diogenes – sinh năm 1069, và theo lời Anna Comnena được lập làm đồng hoàng đế trong suốt triều đại của cha mình.[39] Dưới thời vua Alexios I, ông được đưa vào cung đình giao cho nhiều chức vụ cấp cao khác nhau. Ông mất trong lúc tháp tùng Alexios chinh phạt người Pecheneg vào năm 1087.[8]
• Nikephoros Diogenes – sinh năm 1070.